"""
演示RDD的filter成员方法的使用
功能:过滤想要的数据进行保留
"""
from pyspark import SparkContext,SparkConf
import os
os.environ["PYSPARK_PYTHON"] = "C:/Users/86131/AppData/Local/Programs/Python/Python39/python.exe"
conf = SparkConf().setMaster("local[*]").setAppName("test_spark")
sc = SparkContext(conf=conf)

#准备一个RDD
rdd = sc.parallelize([1, 2, 3, 4, 5])
#对RDD的数据进行过滤
rdd2 = rdd.filter(lambda num: num%2 ==0 )

print(rdd2.collect())


#停止SparkContext对象的运行(停止PySpark程序)
sc.stop()


